测试工具
Zapier 平台提供了一系列工具,帮助您在将更改推送到用户之前进行通知和验证,确保集成可靠。
金丝雀测试
金丝雀测试是一种方法,用于在生产环境中暂时测试新更改,让真实用户参与,从而验证更改的有效性,以更自信地发布新版本并减少错误。这些用户不会被告知或意识到更改,通常通过随机方式在小部分用户中进行测试,以获取样本。开发人员应设置周密的监控机制,以监视错误并在必要时进行回滚。
先决条件
- 已完成您的 Zapier 集成构建,并使用 CLI 进行构建(截至 2024 年 9 月 23 日,这是一个仅限 CLI 的功能)
- 如果您以前未使用过 Zapier,请先学习基础知识,参考我们的 Zapier 入门指南。
您可能希望在添加新功能或修复错误时使用金丝雀工具。例如,如果您计划推出一个错误修复,您可能想先测试一下,以确认修复是否有效。通常的验证步骤包括单元测试,以及为验证设置 Zap。单元测试会确保您的集成代码功能符合预期。设置 Zap 会确保触发器或操作能与您提供的输入正常工作。金丝雀工具则确保您的更改适用于许多现有的实时 Zap,包括各种不同的输入和输出。
zapier canary
提供了一种新方式来验证您的集成,并增强信心,确保更改能适用于各种不同的 Zap 设置。
zapier canary:create
允许您设置要测试的版本、要替换的版本、流量百分比,以及版本回滚前的持续时间。
zapier canary:list
允许您查看活动的金丝雀测试,并查看剩余时间。
zapier canary:delete
如果出现意外情况,您可以在持续时间到期前选择删除金丝雀测试。
最佳实践
- 从小开始:从较小的流量百分比入手。
- 密切监控:使用监控工具跟踪性能和错误。
- 沟通:将金丝雀测试告知您的团队。
故障排除
- 问题:错误率高:立即回滚并调查日志。
- 问题:性能下降:减少流量百分比或进行回滚。
常见问题
问:如果我没有及时回滚,会发生什么?
答:系统会在指定持续时间结束后自动回滚到之前的版本。
问:我可以延长金丝雀测试的持续时间吗?
答:是的,您可以通过停止现有的金丝雀测试,然后使用新的持续时间重新运行 zapier canary
命令来延长。
问:如何监控金丝雀测试?
答:使用 Zapier 的监控工具和日志来跟踪测试性能。目前,我们无法隔离金丝雀测试的监控,只能在整体成功率或错误模式中观察。